Người đầu tiên đến từ New Zealand thi đấu tại Thế vận hội là Victor Lindberg, thi đấu cho Câu lạc bộ Bơi lội Osborne thuộc Anh Quốc. Câu lạc bộ đã giành chiến thắng môn bóng nước tại Thế vận hội Mùa hè 1900.

Do vị trí địa lý ở nam Thái Bình Dương và ở xa các thành phố chủ nhà Thế vận hội những kỳ đầu ở châu Âu và Bắc Mỹ, người New Zealand phải trải qua những chuyến hải hành dài để góp mặt tranh tài. New Zealand gửi đoàn VĐV độc lập đầu tiên đến Thế vận hội lần thứ VII năm 1920, gồm hai VĐV chạy, một VĐV chèo thuyền, và một VĐV bơi 15 tuổi. Trước 1920, ba người New Zealand từng giành huy chương khi thi đấu cho đoàn Australasia các năm 1908 và 1912. Với sự phát triển của hàng không quốc tế những năm 1950, và với một số lượng lớn hơn các môn thể thao tại Thế vận hội, các đoàn Olympic của New Zealand cũng gia tăng nhân số.

New Zealand, cũng như các nước Nam Bán cầu, có bất lợi khi đến cao điểm chuẩn bị cho các môn Thế vận hội Mùa hè, đại hội được tổ chức vào những tháng mùa đông ở nước này. Chỉ mới 3 kỳ Thế vận hội diễn ra ở Nam Bán cầu, Thế vận hội Mùa hè 1956 ở Melbourne, Thế vận hội Mùa hè 2000 ở Sydney, và Thế vận hội Mùa hè 2016 ở Rio de Janeiro.

Việc New Zealand tham dự kỳ vận hội 1976 đã gây tranh cãi, và dẫn tới sự kiện các nước châu Phi tẩy chay Thế vận hội; các nước này phản đối các hoạt động giao lưu thể thao giữa All Blacks và Nam Phi a-pác-thai.